embeddingdr

Embedding漂移（Embedding Drift）

根本原因：优化景观（Optimization Landscape）的破坏。模型的训练过程可以看作是在一个复杂的、高维的“误差曲面”上寻找最低点（最优点）。嵌入层作为模型的第一层，其输出定义了后续所有层所处理数据的初始表示空间。具体过程：不稳定的梯度：如果嵌入向